2021-11-10
本文介绍了我们在Biocreative VII的Covid-19文学注释任务上提交。我们提出了一种利用全球非最佳权重的知识的方法，通常被拒绝，以构建每个标签的丰富代表性。我们所提出的方法包括两个阶段：（1）培训数据的各种初始化的召唤，具有弱训练的权重，（2）基于BERT和Roberta Embeddings的异构词汇模型的堆叠。这些弱洞察的聚合比经典全球有效的模型更好。目的是将知识丰富的蒸馏到更简单和更轻的模型。我们的系统获取基于实例的F1，为92.96和基于标签的微F1，为91.35。
translated by 谷歌翻译